Trong khi ba đạo quân tiến đánh vùng Mân Việt, Đông Việt và Nam Việt khá thuận lợi và hoàn thành mục tiêu, đạo quân tiến vào Ngũ Lĩnh gặp rất nhiều khó khăn. Liên tiếp trong 3 năm (218 – 215 TCN), quân Tần vừa phải đào kênh, vừa phải đối phó với sự đánh trả khá mạnh của người Âu Việt. Trong 3 năm đó quân Tần liên tục phải tác chiến, "không cởi giáp dãn nỏ"[3].

Nhờ có Linh Cừ, quân Tần tiến theo sông Quế vào lưu vực Tây Giang là địa bàn của người Tây Âu. Tại đây, quân Tần giết được thủ lĩnh người Tây Âu là Dịch Hu Tống, tuy nhiên người Bách Việt không chịu đầu hàng mà tiếp tục bầu thủ lĩnh khác lên chỉ huy cuộc chiến chống Tần.

Năm 214 TCN, Đồ Thư tiếp tục thúc quân về phía nam. Quân Tần theo sông Tả Giang và sông Kỳ Cùng tiến vào vùng đất của người Âu Việt.

Sau khi Dịch Hu Tống tử trận, để tránh thế mạnh của quân Tần, người Việt rút vào rừng sâu, cùng nhau bầu thủ lĩnh mới để chống địch. Thục Phán trở thành một thủ lĩnh Tây Âu đứng lên chống Tần. Quân Tần truy kích nhưng vấp phải sự kháng cự mạnh mẽ. Người Việt đánh tập kích bất ngờ và dùng cung nỏ chống lại quân Tần, làm tổn thất nhiều binh lính của Đồ Thư.

Cuộc chiến chống Tần của người Việt diễn ra trong nhiều năm. Quân Tần tổ chức tấn công tiêu diệt không hiệu quả, dần dần lương thực bị tuyệt và thiếu, muốn tiến hay lui đều bị người Việt bủa vây đánh úp. Sử ký mô tả tình trạng quân Tần[4]:

Khi quân Tần bị nguy khốn, người Việt tổ chức tấn công, giết được tướng Đồ Thư. Quân Tần bị thua nặng, sách Hoài Nam tử mô tả: "thây phơi máu chảy hàng chục vạn người"[4].

Tại Trung Nguyên, Tần Thủy Hoàng qua đời, Tần Nhị Thế kế vị. Trước tình hình các nước Sơn Đông nổi dậy khôi phục chống Tần và ngoài mặt trận phía nam bất lợi, Nhị Thế buộc phải ra lệnh bãi binh năm 208 TCN.